# -*- coding: utf-8 -*-

#Questo script stampa i top 1000 domini con la relativa categoria secondo google.com/adplanner del 2011
#utilità dello script: se ha senso, inserire i domini con la categoria, nel db

#osservzione: alcuni non hanno la categoria

#import os
import urllib2
#import sys
import re
import string
#from BeautifulSoup import BeautifulSoup

myURL = "http://www.google.com/adplanner/static/top1000/#" 

#parte di codice che stampa i link, es: http://www.facebook.com
'''
data = urllib2.urlopen(myURL).read()

#print data #stampa di test

cont = 1    
soup = BeautifulSoup(data)
for tag in soup.findAll("a", href=True):
    #print tag["href"] #stampa di test
    line = tag["href"]
    if line.find("http://www.google.com") != 0 and line.find("http://productideas.appspot.com/#e=1b7e5") != 0 and not line[0] == '#' and line.find("../top100countries/index.html") != 0: 
        #print cont, line #stampa di test
        #com = "python alexa_v1.0.py " + line #per testare alexa_v1.0.py
        #com = "python avg_threat_labs_v1.0.py " + line #avg_threat_labs_v1.0.py non si puo' testare perche' non sono domini (hanno http://)
        #os.system(com)
        cont += 1
'''    



data = urllib2.urlopen(myURL).read()
data = re.sub( r'<[^>]*>', ' ', data ).strip()
#print data #stampa di test

lista = string.split(data,"\n")
cont = 1
cont_b = -85 #contatore interno 
cont_g = 1 #contatore dei siti
for elem in lista:
    if cont > 85 and cont < 12084:
        if cont_b == 5: 
            print elem.lstrip()
        if cont_b == 3:
            #com = "python avg_threat_labs_v1.0.py " + elem #test di avg_threat_labs_v1.0.py
            #os.system(com) #test di avg_threat_labs_v1.0.py
            print cont_g, elem.lstrip()
            cont_g += 1
        if cont_b == 12:
            cont_b = 0   
    cont += 1
    cont_b += 1
